第十章 评估（下）——当不存在一个简单的正确答案时

在上一章中，我们探索了如何评估 LLM 模型在 有明确正确答案 的情况下的性能，并且我们学会了编写一个函数来验证 LLM 是否正确地进行了分类列出产品。

然而，如果我们想要使用 LLM 来生成文本，而不仅仅是用于解决分类问题，我们又应该如何评估其回答准确率呢？在本章，我们将讨论如何评估LLM在这种应用场景中的输出的质量。

一、运行问答系统获得一个复杂回答

我们首先运行在之前章节搭建的问答系统来获得一个复杂的、不存在一个简单正确答案的回答：

  1. import utils_zh
  3. '''
  4. 注意：限于模型对中文理解能力较弱，中文 Prompt 可能会随机出现不成功，可以多次运行；也非常欢迎同学探究更稳定的中文 Prompt
  5. '''
  6. # 用户消息
  7. customer_msg = f"""
  8. 告诉我有关 the smartx pro phone 和 the fotosnap camera, the dslr one 的信息。
  9. 另外，你们这有什么 TVs ？"""
  11. # 从问题中抽取商品名
  12. products_by_category = utils_zh.get_products_from_query(customer_msg)
  13. # 将商品名转化为列表
  14. category_and_product_list = utils_zh.read_string_to_list(products_by_category)
  15. # 查找商品对应的信息
  16. product_info = utils_zh.get_mentioned_product_info(category_and_product_list)
  17. # 由信息生成回答
  18. assistant_answer = utils_zh.answer_user_msg(user_msg=customer_msg, product_info=product_info)
  20. print(assistant_answer)
  1. 关于SmartX Pro手机和FotoSnap DSLR相机的信息：
  3. 1. SmartX Pro手机（型号：SX-PP10）是一款功能强大的智能手机，拥有6.1英寸显示屏、128GB存储空间、12MP双摄像头和5G网络支持。价格为899.99美元，保修期为1年。
  5. 2. FotoSnap DSLR相机（型号：FS-DSLR200）是一款多功能的单反相机，拥有24.2MP传感器、1080p视频拍摄、3英寸液晶屏和可更换镜头。价格为599.99美元，保修期为1年。
  7. 关于电视的信息：
  9. 我们有以下电视可供选择：
  10. 1. CineView 4K电视（型号：CV-4K55）- 55英寸显示屏，4K分辨率，支持HDR和智能电视功能。价格为599.99美元，保修期为2年。
  11. 2. CineView 8K电视（型号：CV-8K65）- 65英寸显示屏，8K分辨率，支持HDR和智能电视功能。价格为2999.99美元，保修期为2年。
  12. 3. CineView OLED电视（型号：CV-OLED55）- 55英寸OLED显示屏，4K分辨率，支持HDR和智能电视功能。价格为1499.99美元，保修期为2年。
  14. 请问您对以上产品有任何特别的要求或其他问题吗？

二、使用 GPT 评估回答是否正确

我们希望您能从中学到一个设计模式，即当您可以指定一个评估 LLM 输出的标准列表时，您实际上可以使用另一个 API 调用来评估您的第一个 LLM 输出。

  1. from tool import get_completion_from_messages
  3. # 问题、上下文
  4. cust_prod_info = {
  5.     'customer_msg': customer_msg,
  6.     'context': product_info
  7. }
  9. def eval_with_rubric(test_set, assistant_answer):
  10.     """
  11.     使用 GPT API 评估生成的回答
  13.     参数：
  14.     test_set: 测试集
  15.     assistant_answer: 助手的回复
  16.     """
  18.     cust_msg = test_set['customer_msg']
  19.     context = test_set['context']
  20.     completion = assistant_answer
  22.     # 人设
  23.     system_message = """\
  24.     你是一位助理，通过查看客户服务代理使用的上下文来评估客户服务代理回答用户问题的情况。
  25.     """
  27.     # 具体指令
  28.     user_message = f"""\
  29.     你正在根据代理使用的上下文评估对问题的提交答案。以下是数据：
  30.     [开始]
  31.     ************
  32.     [用户问题]: {cust_msg}
  33.     ************
  34.     [使用的上下文]: {context}
  35.     ************
  36.     [客户代理的回答]: {completion}
  37.     ************
  38.     [结束]
  40.     请将提交的答案的事实内容与上下文进行比较，忽略样式、语法或标点符号上的差异。
  41.     回答以下问题：
  42.     助手的回应是否只基于所提供的上下文？（是或否）
  43.     回答中是否包含上下文中未提供的信息？（是或否）
  44.     回应与上下文之间是否存在任何不一致之处？（是或否）
  45.     计算用户提出了多少个问题。（输出一个数字）
  46.     对于用户提出的每个问题，是否有相应的回答？
  47.     问题1：（是或否）
  48.     问题2：（是或否）
  49.     ...
  50.     问题N：（是或否）
  51.     在提出的问题数量中，有多少个问题在回答中得到了回应？（输出一个数字）
  52. """
  54.     messages = [
  55.         {'role': 'system', 'content': system_message},
  56.         {'role': 'user', 'content': user_message}
  57.     ]
  59.     response = get_completion_from_messages(messages)
  60.     return response
  62. evaluation_output = eval_with_rubric(cust_prod_info, assistant_answer)
  63. print(evaluation_output)
  1. 助手的回应只基于所提供的上下文。是
  2. 回答中不包含上下文中未提供的信息。是
  3. 回应与上下文之间不存在任何不一致之处。是
  4. 用户提出了2个问题。
  5. 对于用户提出的每个问题，都有相应的回答。
  6. 问题1：是
  7. 问题2：是
  8. 在提出的问题数量中，有2个问题在回答中得到了回应。

三、评估生成回答与标准回答的差距

在经典的自然语言处理技术中，有一些传统的度量标准用于衡量 LLM 输出与人类专家编写的输出的相似度。例如，BLUE 分数可用于衡量两段文本的相似程度。

实际上有一种更好的方法，即使用 Prompt。您可以指定 Prompt，使用 Prompt 来比较由 LLM 自动生成的客户服务代理响应与人工理想响应的匹配程度。

  1. '''基于中文Prompt的验证集'''
  2. test_set_ideal = {
  3.     'customer_msg': """\
  4. 告诉我有关 the Smartx Pro 手机 和 FotoSnap DSLR相机, the dslr one 的信息。\n另外，你们这有什么电视 ？""",
  5.     'ideal_answer':"""\
  6. SmartX Pro手机是一款功能强大的智能手机，拥有6.1英寸显示屏、128GB存储空间、12MP双摄像头和5G网络支持。价格为899.99美元，保修期为1年。
  7. FotoSnap DSLR相机是一款多功能的单反相机，拥有24.2MP传感器、1080p视频拍摄、3英寸液晶屏和可更换镜头。价格为599.99美元，保修期为1年。
  9. 我们有以下电视可供选择：
  10. 1. CineView 4K电视（型号：CV-4K55）- 55英寸显示屏，4K分辨率，支持HDR和智能电视功能。价格为599.99美元，保修期为2年。
  11. 2. CineView 8K电视（型号：CV-8K65）- 65英寸显示屏，8K分辨率，支持HDR和智能电视功能。价格为2999.99美元，保修期为2年。
  12. 3. CineView OLED电视（型号：CV-OLED55）- 55英寸OLED显示屏，4K分辨率，支持HDR和智能电视功能。价格为1499.99美元，保修期为2年。
  13.     """
  14. }

我们首先在上文中定义了一个验证集，其包括一个用户指令与一个标准回答。

接着我们可以实现一个评估函数，该函数利用 LLM 的理解能力，要求 LLM 评估生成回答与标准回答是否一致。

  1. def eval_vs_ideal(test_set, assistant_answer):
  2.     """
  3.     评估回复是否与理想答案匹配
  5.     参数：
  6.     test_set: 测试集
  7.     assistant_answer: 助手的回复
  8.     """
  9.     cust_msg = test_set['customer_msg']
  10.     ideal = test_set['ideal_answer']
  11.     completion = assistant_answer
  13.     system_message = """\
  14.     您是一位助理，通过将客户服务代理的回答与理想（专家）回答进行比较，评估客户服务代理对用户问题的回答质量。
  15.     请输出一个单独的字母（A 、B、C、D、E），不要包含其他内容。 
  16.     """
  18.     user_message = f"""\
  19.     您正在比较一个给定问题的提交答案和专家答案。数据如下:
  20.     [开始]
  21.     ************
  22.     [问题]: {cust_msg}
  23.     ************
  24.     [专家答案]: {ideal}
  25.     ************
  26.     [提交答案]: {completion}
  27.     ************
  28.     [结束]
  30.     比较提交答案的事实内容与专家答案，关注在内容上，忽略样式、语法或标点符号上的差异。
  31.     你的关注核心应该是答案的内容是否正确，内容的细微差异是可以接受的。
  32.     提交的答案可能是专家答案的子集、超集，或者与之冲突。确定适用的情况，并通过选择以下选项之一回答问题：
  33.     （A）提交的答案是专家答案的子集，并且与之完全一致。
  34.     （B）提交的答案是专家答案的超集，并且与之完全一致。
  35.     （C）提交的答案包含与专家答案完全相同的细节。
  36.     （D）提交的答案与专家答案存在分歧。
  37.     （E）答案存在差异，但从事实的角度来看这些差异并不重要。
  38.     选项：ABCDE
  39. """
  41.     messages = [
  42.         {'role': 'system', 'content': system_message},
  43.         {'role': 'user', 'content': user_message}
  44.     ]
  46.     response = get_completion_from_messages(messages)
  47.     return response

这个评分标准来自于 OpenAI 开源评估框架，这是一个非常棒的框架，其中包含了许多评估方法，既有 OpenAI 开发人员的贡献，也有更广泛的开源社区的贡献。

在这个评分标准中，我们要求 LLM 针对提交答案与专家答案进行信息内容的比较，并忽略其风格、语法和标点符号等方面的差异，但关键是我们要求它进行比较，并输出从A到E的分数，具体取决于提交的答案是否是专家答案的子集、超集或完全一致，这可能意味着它虚构或编造了一些额外的事实。

LLM 将选择其中最合适的描述。

LLM 生成的回答为：

  1. print(assistant_answer)
  1. 关于SmartX Pro手机和FotoSnap DSLR相机的信息：
  3. 1. SmartX Pro手机（型号：SX-PP10）是一款功能强大的智能手机，拥有6.1英寸显示屏、128GB存储空间、12MP双摄像头和5G网络支持。价格为899.99美元，保修期为1年。
  5. 2. FotoSnap DSLR相机（型号：FS-DSLR200）是一款多功能的单反相机，拥有24.2MP传感器、1080p视频拍摄、3英寸液晶屏和可更换镜头。价格为599.99美元，保修期为1年。
  7. 关于电视的信息：
  9. 我们有以下电视可供选择：
  10. 1. CineView 4K电视（型号：CV-4K55）- 55英寸显示屏，4K分辨率，支持HDR和智能电视功能。价格为599.99美元，保修期为2年。
  11. 2. CineView 8K电视（型号：CV-8K65）- 65英寸显示屏，8K分辨率，支持HDR和智能电视功能。价格为2999.99美元，保修期为2年。
  12. 3. CineView OLED电视（型号：CV-OLED55）- 55英寸OLED显示屏，4K分辨率，支持HDR和智能电视功能。价格为1499.99美元，保修期为2年。
  14. 请问您对以上产品有任何进一步的问题或者需要了解其他产品吗？
  1. eval_vs_ideal(test_set_ideal, assistant_answer)
  1. 'C'

对于该生成回答，GPT 判断生成内容与标准答案一致

  1. assistant_answer_2 = "life is like a box of chocolates"
  3. eval_vs_ideal(test_set_ideal, assistant_answer_2)
  1. 'D'

对于明显异常答案，GPT 判断为不一致

希望您从本章中学到两个设计模式。

  1. 即使没有专家提供的理想答案，只要能制定一个评估标准，就可以使用一个 LLM 来评估另一个 LLM 的输出。

  2. 如果您可以提供一个专家提供的理想答案，那么可以帮助您的 LLM 更好地比较特定助手输出是否与专家提供的理想答案相似。

希望这可以帮助您评估 LLM 系统的输出，以便在开发期间持续监测系统的性能，并使用这些工具不断评估和改进系统的性能。

四、英文版

1. 对问答系统提问

  1. import utils_en
  3. # 用户消息
  4. customer_msg = f"""
  5. tell me about the smartx pro phone and the fotosnap camera, the dslr one.
  6. Also, what TVs or TV related products do you have?"""
  8. # 从问题中抽取商品名
  9. products_by_category = utils_en.get_products_from_query(customer_msg)
  10. # 将商品名转化为列表
  11. category_and_product_list = utils_en.read_string_to_list(products_by_category)
  12. # 查找商品对应的信息
  13. product_info = utils_en.get_mentioned_product_info(category_and_product_list)
  14. # 由信息生成回答
  15. assistant_answer = utils_en.answer_user_msg(user_msg=customer_msg, product_info=product_info)
  1. print(assistant_answer)
  1. Sure! Let me provide you with some information about the SmartX ProPhone and the FotoSnap DSLR Camera.
  3. The SmartX ProPhone is a powerful smartphone with advanced camera features. It has a 6.1-inch display, 128GB storage, a 12MP dual camera, and supports 5G connectivity. The SmartX ProPhone is priced at $899.99 and comes with a 1-year warranty.
  5. The FotoSnap DSLR Camera is a versatile camera that allows you to capture stunning photos and videos. It features a 24.2MP sensor, 1080p video recording, a 3-inch LCD screen, and supports interchangeable lenses. The FotoSnap DSLR Camera is priced at $599.99 and also comes with a 1-year warranty.
  7. As for TVs and TV-related products, we have a range of options available. Some of our popular TV models include the CineView 4K TV, CineView 8K TV, and CineView OLED TV. We also have home theater systems like the SoundMax Home Theater and SoundMax Soundbar. Could you please let me know your specific requirements or preferences so that I can assist you better?

2. 使用GPT评估

  1. # 问题、上下文
  2. cust_prod_info = {
  3.     'customer_msg': customer_msg,
  4.     'context': product_info
  5. }
  1. def eval_with_rubric(test_set, assistant_answer):
  2.     """
  3.     使用 GPT API 评估生成的回答
  5.     参数：
  6.     test_set: 测试集
  7.     assistant_answer: 助手的回复
  8.     """
  10.     cust_msg = test_set['customer_msg']
  11.     context = test_set['context']
  12.     completion = assistant_answer
  14.     # 要求 GPT 作为一个助手评估回答正确性
  15.     system_message = """\
  16.     You are an assistant that evaluates how well the customer service agent \
  17.     answers a user question by looking at the context that the customer service \
  18.     agent is using to generate its response. 
  19.     """
  21.     # 具体指令
  22.     user_message = f"""\
  23. You are evaluating a submitted answer to a question based on the context \
  24. that the agent uses to answer the question.
  25. Here is the data:
  26.     [BEGIN DATA]
  27.     ************
  28.     [Question]: {cust_msg}
  29.     ************
  30.     [Context]: {context}
  31.     ************
  32.     [Submission]: {completion}
  33.     ************
  34.     [END DATA]
  36. Compare the factual content of the submitted answer with the context. \
  37. Ignore any differences in style, grammar, or punctuation.
  38. Answer the following questions:
  39.     - Is the Assistant response based only on the context provided? (Y or N)
  40.     - Does the answer include information that is not provided in the context? (Y or N)
  41.     - Is there any disagreement between the response and the context? (Y or N)
  42.     - Count how many questions the user asked. (output a number)
  43.     - For each question that the user asked, is there a corresponding answer to it?
  44.       Question 1: (Y or N)
  45.       Question 2: (Y or N)
  46.       ...
  47.       Question N: (Y or N)
  48.     - Of the number of questions asked, how many of these questions were addressed by the answer? (output a number)
  49. """
  51.     messages = [
  52.         {'role': 'system', 'content': system_message},
  53.         {'role': 'user', 'content': user_message}
  54.     ]
  56.     response = get_completion_from_messages(messages)
  57.     return response
  1. evaluation_output = eval_with_rubric(cust_prod_info, assistant_answer)
  2. print(evaluation_output)
  1. - Is the Assistant response based only on the context provided? (Y or N)
  2. Y
  4. - Does the answer include information that is not provided in the context? (Y or N)
  5. N
  7. - Is there any disagreement between the response and the context? (Y or N)
  8. N
  10. - Count how many questions the user asked. (output a number)
  11. 2
  13. - For each question that the user asked, is there a corresponding answer to it?
  14. Question 1: Y
  15. Question 2: Y
  17. - Of the number of questions asked, how many of these questions were addressed by the answer? (output a number)
  18. 2

3. 评估生成回答与标准回答的差距

  1. test_set_ideal = {
  2.     'customer_msg': """\
  3. tell me about the smartx pro phone and the fotosnap camera, the dslr one.
  4. Also, what TVs or TV related products do you have?""",
  5.     'ideal_answer':"""\
  6. Of course!  The SmartX ProPhone is a powerful \
  7. smartphone with advanced camera features. \
  8. For instance, it has a 12MP dual camera. \
  9. Other features include 5G wireless and 128GB storage. \
  10. It also has a 6.1-inch display.  The price is $899.99.
  12. The FotoSnap DSLR Camera is great for \
  13. capturing stunning photos and videos. \
  14. Some features include 1080p video, \
  15. 3-inch LCD, a 24.2MP sensor, \
  16. and interchangeable lenses. \
  17. The price is 599.99.
  19. For TVs and TV related products, we offer 3 TVs \
  22. All TVs offer HDR and Smart TV.
  24. The CineView 4K TV has vibrant colors and smart features. \
  25. Some of these features include a 55-inch display, \
  26. '4K resolution. It's priced at 599.
  28. The CineView 8K TV is a stunning 8K TV. \
  29. Some features include a 65-inch display and \
  30. 8K resolution.  It's priced at 2999.99
  32. The CineView OLED TV lets you experience vibrant colors. \
  33. Some features include a 55-inch display and 4K resolution. \
  34. It's priced at 1499.99.
  36. We also offer 2 home theater products, both which include bluetooth.\
  37. The SoundMax Home Theater is a powerful home theater system for \
  38. an immmersive audio experience.
  39. Its features include 5.1 channel, 1000W output, and wireless subwoofer.
  40. It's priced at 399.99.
  42. The SoundMax Soundbar is a sleek and powerful soundbar.
  43. It's features include 2.1 channel, 300W output, and wireless subwoofer.
  44. It's priced at 199.99
  46. Are there any questions additional you may have about these products \
  47. that you mentioned here?
  48. Or may do you have other questions I can help you with?
  49.     """
  50. }
  1. def eval_vs_ideal(test_set, assistant_answer):
  2.     """
  3.     评估回复是否与理想答案匹配
  5.     参数：
  6.     test_set: 测试集
  7.     assistant_answer: 助手的回复
  8.     """
  9.     cust_msg = test_set['customer_msg']
  10.     ideal = test_set['ideal_answer']
  11.     completion = assistant_answer
  13.     system_message = """\
  14.     You are an assistant that evaluates how well the customer service agent \
  15.     answers a user question by comparing the response to the ideal (expert) response
  16.     Output a single letter and nothing else. 
  17.     """
  19.     user_message = f"""\
  20. You are comparing a submitted answer to an expert answer on a given question. Here is the data:
  21.     [BEGIN DATA]
  22.     ************
  23.     [Question]: {cust_msg}
  24.     ************
  25.     [Expert]: {ideal}
  26.     ************
  27.     [Submission]: {completion}
  28.     ************
  29.     [END DATA]
  31. Compare the factual content of the submitted answer with the expert answer. Ignore any differences in style, grammar, or punctuation.
  32.     The submitted answer may either be a subset or superset of the expert answer, or it may conflict with it. Determine which case applies. 
  33.     Answer the question by selecting one of the following options:
  34.     (A) The submitted answer is a subset of the expert answer and is fully consistent with it.
  35.     (B) The submitted answer is a superset of the expert answer and is fully consistent with it.
  36.     (C) The submitted answer contains all the same details as the expert answer.
  37.     (D) There is a disagreement between the submitted answer and the expert answer.
  38.     (E) The answers differ, but these differences don't matter from the perspective of factuality.
  39.   choice_strings: ABCDE
  40. """
  42.     messages = [
  43.         {'role': 'system', 'content': system_message},
  44.         {'role': 'user', 'content': user_message}
  45.     ]
  47.     response = get_completion_from_messages(messages)
  48.     return response
  1. print(assistant_answer)
  1. Sure! Let me provide you with some information about the SmartX ProPhone and the FotoSnap DSLR Camera.
  3. The SmartX ProPhone is a powerful smartphone with advanced camera features. It has a 6.1-inch display, 128GB storage, a 12MP dual camera, and supports 5G connectivity. The SmartX ProPhone is priced at $899.99 and comes with a 1-year warranty.
  5. The FotoSnap DSLR Camera is a versatile camera that allows you to capture stunning photos and videos. It features a 24.2MP sensor, 1080p video recording, a 3-inch LCD screen, and supports interchangeable lenses. The FotoSnap DSLR Camera is priced at $599.99 and also comes with a 1-year warranty.
  7. As for TVs and TV-related products, we have a range of options available. Some of our popular TV models include the CineView 4K TV, CineView 8K TV, and CineView OLED TV. We also have home theater systems like the SoundMax Home Theater and SoundMax Soundbar. Could you please let me know your specific requirements or preferences so that I can assist you better?
  1. # 由于模型的更新，目前在原有 Prompt 上不再能够正确判断
  2. eval_vs_ideal(test_set_ideal, assistant_answer)
  1. 'D'
  1. assistant_answer_2 = "life is like a box of chocolates"
  1. eval_vs_ideal(test_set_ideal, assistant_answer_2)
  2. # 对于明显异常答案，GPT 判断为不一致
  1. 'D'